Análisis de entornos urbanos de tráfico y estimación del movimiento del vehículo para el desarrollo de sistemas avanzados de ayuda a la conducción

Los entornos urbanos de tráfico representan, por su alta complejidad, un desafío para los sistemas inteligentes de transporte, debido a la gran variedad de situaciones y elementos diferentes que pueden acontecer en estos entornos y que deben ser manejadas por estos sistemas. A este respecto, las soluciones presentadas hasta el momento son variadas en lo concerniente a sensores y métodos, obteniendo estos trabajos resultados muy dispares de precisión, complejidad, coste o carga computacional. El trabajo presentado en esta disertación, desarrolla un conjunto de algoritmos y métodos para dar soporte a la implementación de una gran variedad de sistemas avanzados de ayuda a la conducción o navegación autónoma en estos entornos. El sistema descrito se basa en el análisis del entorno del vehículo y la estimación del movimiento del mismo mediante el empleo de un sistema de visión estereoscópica, donde se ha prestado una especial atención, a la hora de definir las características del desarrollo, a posibilitar su implementación en tiempo real. Se ha hecho hincapié tanto en la justificación matemática de los algoritmos presentados, como en la evaluación del efecto de la variación de los valores de configuración de funcionamiento del sistema, evaluándose a su vez los resultados del mismo mediante el empleo de bases de datos de acceso público, analizándose cerca de 11.000 imágenes a lo largo de 9 km de recorrido en entornos urbanos.Traffic urban environments represent, because of its complexity, a challenge for Intelligent Transport Systems due to the great variety of situations and different elements that can happen in these environments and that must be faced by these systems. In connection with this, so far there are a variety of solutions as regards sensors and methods, so the results of precision, complexity, cost or computational load obtained by these works are different. The work presented in this dissertation develops a set of algorithms and methods in order to give support to the implementation of a great variety of advanced driver assistance systems or autonomous navigation in these environments. The system described is based on the analysis of the vehicle environment and its motion estimation by using a stereoscopic vision system which focuses, when defining the characteristics of the development, on enable its implementation in real time. It has been emphasized both the mathematical justification of the algorithms presented and the evaluation of the effect of varying the settings of the system, evaluating its results by using database access public, analyzing around 11,000 images along 9 km in urban environments.Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Matilde Santos Peñas.- Secretario: María Araceli Sanchis de Miguel.- Vocal: Felipe Jiménez Alons

Detección y localización de obstáculos mediante U-V Disparity con CUDA

Tradicionalmente la detección de obstáculos es un tema de investigación de gran interés en visión por computador aplicada tanto a la navegación de robots, como a los sistemas avanzados de ayuda a la conducción (ADAS). Aunque otras tecnologías como por ejemplo el láser, presentan buenos resultados para detectar obstáculos en entornos urbanos, la visión por computador proporciona información 2D &- ó 3D con visión estéreo &- que mejora la interpretación del entorno en exteriores. En este artículo se presenta una implementación en tiempo real de la construcción del mapa denso de disparidad y del U-V disparity, que son utilizados para la detección y localización de obstáculos. Para minimizar los efectos sobre el tiempo de cómputo que ocasionan tanto la construcción del mapa denso de disparidad, como la del U-V disparity, se han implementado ambos mediante el uso de GPUs (Unidades de Procesamiento Gráfico) por su alto rendimiento con algoritmos paralelizables.Publicad

Pose self-calibration of stereo vision systems for autonomous vehicle applications

Nowadays, intelligent systems applied to vehicles have grown very rapidly; their goal is not only the improvement of safety, but also making autonomous driving possible. Many of these intelligent systems are based on making use of computer vision in order to know the environment and act accordingly. It is of great importance to be able to estimate the pose of the vision system because the measurement matching between the perception system (pixels) and the vehicle environment (meters) depends on the relative position between the perception system and the environment. A new method of camera pose estimation for stereo systems is presented in this paper, whose main contribution regarding the state of the art on the subject is the estimation of the pitch angle without being affected by the roll angle. The validation of the self-calibration method is accomplished by comparing it with relevant methods of camera pose estimation, where a synthetic sequence is used in order to measure the continuous error with a ground truth. This validation is enriched by the experimental results of the method in real traffic environments.This work was supported by the Spanish Government through the CICYTprojects (TRA2013-48314-C3-1-R and TRA2015-63708-R) and Comunidad de Madrid through SEGVAUTO-TRIES (S2013/MIT-2713).Publicad

Detección de peatones para sistemas de asistencia a la conducción

Este artículo describe el sistema de detección de peatones embarcado en el vehículo experimental IvvI 2.0, formando parte de su Sistema Avanzado de Ayuda a la Conducción. La detección de peatones se divide en dos algoritmos principales que hacen uso de información visual en el dominio visible y en el infrarrojo lejano, para poder hacer frente a las distintas iluminaciones del entorno. En el algoritmo basado en luz visible, los obstáculos que sobresalen del suelo son detectados mediante técnicas de v-disparity, y posteriormente clasificados. Para la detección de peatones en infrarrojo se recurre a un método basado en los histogramas de la congruencia de fase. Finalmente, los peatones detectados son seguidos por el sistema y se calcula su trayectoria futura.Este trabajo ha sido parcialmente financiado por el Gobierno de Españaa a través de los proyectos Cycit FEDORA (GRANT TRA2010-20225-C03-01) y VIDAS-Driver (GRANT TRA2010-21371-C03-02), y por la Comunidad de Madrid a través del proyecto SEGVAUTO (S2009/DPI-1509).Publicad

Autocalibración de parámetros extrínsecos de sistemas estéreo para aplicaciones de tráfico

[Resumen] En este artículo se presenta un método de autocalibración de los parámetros extrínsecos de un sistema estéreo en aplicaciones de tráfico. Dicho método se basa en determinar la geometría de la calzada delante del vehículo. Esta posición relativa varía considerablemente mientras el vehículo circula, por tanto, resulta de gran interés poder estimarla para su aplicación en múltiples aplicaciones basadas en visión por computador, tales como: sistemas avanzados de ayuda a la conducción, vehículos autónomos o robots. Estos continuos cambios en la posición del sistema estéreo se traducen en variaciones en los valores de los parámetros extrínsecos (altura, ángulo de cabeceo y ángulo de alabeo). La validación del método de autocalibración es realizada mediante el empleo de un algoritmo de odometría visual, donde se evalúa la mejora en los resultados que supone conocer en todo momento el valor de los parámetros extrínsecos del sistema estéreo.Este trabajo ha sido parcialmente financiado por el Gobierno de España a través de los proyectos Cycit (TRA2013-48314-C3-1-R y TRA2015-63708-R), y por la Comunidad de Madrid a través del proyecto SEGVAUTO-TRIES (S2013/MIT-2713)Comunidad de Madrid; S2013/MIT-2713https://doi.org/10.17979/spudc.978849749808

Continuous pose estimation for stereo vision based on UV disparity applied to visual odometry in urban environments

Abstract: :This paper presents an autocalibration method to determine the pose of a stereo vision system based on knowing the geometry of the ground in front of the cameras. This pose changes considerably while the vehicle is driven, therefore it is good to know constantly the pose of the camera for several applications based on computer vision, such as advanced driver assistance systems, autonomous vehicles or robotics. These constant changes of the pose make interesting to be able to detect constantly the variations in its extrinsic parameters (height, pitch, roll). The validation of the autocalibration method is accomplished by a visual odometry implementation. A study of the improvement of the results of the visual odometry estimation taking into account the changes of the camera pose is presented, demonstrating the advantages of the autocalibration method.This work was also supported by Spanish Government through the CICYT projects FEDORA (Grant TRA2010-20255-C03-01) and Driver Distraction Detector System (Grant TRA2011-29454-C03-02)

Visual Ego Motion Estimation in Urban Environments based on U-V Disparity

The movement of the vehicle provides useful information for different applications, such as driver assistant systems or autonomous vehicles. This information can be known by means of a GPS, but there are some areas in urban environ ments where the signal is not available, as tunnels or streets with high buildings. A new method for 2D visual ego motion estimation in urban environments is presented in this paper. This method is based on a stereo-vision system where the feature road points are tracked frame to frame in order to estimate the movement of the vehicle, avoiding outliers from dynamic obstacles. The road profile is used to obtain the world coordinates of the feature points as a unique function of its left image coordinates. For these reasons it is only necessary to search feature points in the lower third of the left images. Moreover, the Kalman filter is used as a solution for filtering problem. That is, in some cases, it is necessary to filter raw data due to noise acquisition of time series. The results of the visual ego motion are compared with raw data from a GPS.This work was also supported by Spanish Government through the CICYT projects FEDORA (Grant TRA2010-20255-C03-01) and Driver Distraction Detector System (Grant TRA2011-29454-C03-02

Autocalibración de parámetros extrínsecos de sistemas estéreo para aplicaciones de tráfico

Comunicación presentada en: XXXVII Jornadas de Automática, Madrid, 6 a 8 de septiembre de 2016En este artículo se presenta un método de autocalibración de los parámetros extrínsecos de un sistema estéreo en aplicaciones de tráfico. Dicho método se basa en determinar la geometría de la calzada delante del veh´ıculo. Esta posición relativa varía considerablemente mientras el vehículo circula, por tanto, resulta de gran interés poder estimarla para su aplicación en múltiples aplicaciones basadas en visión por computador, tales como: sistemas avanzados de ayuda a la conducción, vehículos autónomos o robots. Estos continuos cambios en la posición del sistema estéreo se traducen en variaciones en los valores de los parámetros extrínsecos (altura, ángulo de cabeceo y ángulo de alabeo). La validación del método de autocalibración es realizada mediante el empleo de un algoritmo de odometría visual, donde se evalúa la mejora en los resultados que supone conocer en todo momento el valor de los parámetros extrínsecos del sistema estéreo.Este trabajo ha sido parcialmente financiado por el Gobierno de España a través de los proyectos Cycit (TRA2013-48314-C3-1-R y TRA2015-63708-R) y por la Comunidad de Madrid a través del proyecto SEGVAUTO-TRIE S (S2013/MIT-2713)

Identifying and Tracking Pedestrians Based on Sensor Fusion and Motion Stability Predictions

The lack of trustworthy sensors makes development of Advanced Driver Assistance System (ADAS) applications a tough task. It is necessary to develop intelligent systems by combining reliable sensors and real-time algorithms to send the proper, accurate messages to the drivers. In this article, an application to detect and predict the movement of pedestrians in order to prevent an imminent collision has been developed and tested under real conditions. The proposed application, first, accurately measures the position of obstacles using a two-sensor hybrid fusion approach: a stereo camera vision system and a laser scanner. Second, it correctly identifies pedestrians using intelligent algorithms based on polylines and pattern recognition related to leg positions (laser subsystem) and dense disparity maps and u-v disparity (vision subsystem). Third, it uses statistical validation gates and confidence regions to track the pedestrian within the detection zones of the sensors and predict their position in the upcoming frames. The intelligent sensor application has been experimentally tested with success while tracking pedestrians that cross and move in zigzag fashion in front of a vehicle

IVVI 2.0: An intelligent vehicle based on computational perception

This paper presents the IVVI 2.0 a smart research platform to foster intelligent systems in vehicles. Computational perception in intelligent transportation systems applications has advantages, such as huge data from vehicle environment, among others, so computer vision systems and laser scanners are the main devices that accomplish this task. Both have been integrated in our intelligent vehicle to develop cutting-edge applications to cope with perception difficulties, data processing algorithms, expert knowledge, and decision-making. The long-term in-vehicle applications, that are presented in this paper, outperform the most significant and fundamental technical limitations, such as, robustness in the face of changing environmental conditions. Our intelligent vehicle operates outdoors with pedestrians and others vehicles, and outperforms illumination variation, i.e.: shadows, low lighting conditions, night vision, among others. So, our applications ensure the suitable robustness and safety in case of a large variety of lighting conditions and complex perception tasks. Some of these complex tasks are overcome by the improvement of other devices, such as, inertial measurement units or differential global positioning systems, or perception architectures that accomplish sensor fusion processes in an efficient and safe manner. Both extra devices and architectures enhance the accuracy of computational perception and outreach the properties of each device separately.This work was supported by the Spanish Government through the CICYT projects (GRANT TRA2010 20225 C03 01) and (GRANT TRA 2011 29454 C03 02)